Neuroevolution has greatly promoted Deep Neural Network (DNN) architecture design and its applications, while there is a lack of methods available across different DNN types concerning both their scale and performance. In this study, we propose a self-adaptive neuroevolution (SANE) approach to automatically construct various lightweight DNN architectures for different tasks. One of the key settings in SANE is the search space defined by cells and organs self-adapted to different DNN types. Based on this search space, a constructive evolution strategy with uniform evolution settings and operations is designed to grow DNN architectures gradually. SANE is able to self-adaptively adjust evolution exploration and exploitation to improve search efficiency. Moreover, a speciation scheme is developed to protect evolution from early convergence by restricting selection competition within species. To evaluate SANE, we carry out neuroevolution experiments to generate different DNN architectures including convolutional neural network, generative adversarial network and long short-term memory. The results illustrate that the obtained DNN architectures could have smaller scale with similar performance compared to existing DNN architectures. Our proposed SANE provides an efficient approach to self-adaptively search DNN architectures across different types.

We propose LiDAL, a novel active learning method for 3D LiDAR semantic segmentation by exploiting inter-frame uncertainty among LiDAR frames. Our core idea is that a well-trained model should generate robust results irrespective of viewpoints for scene scanning and thus the inconsistencies in model predictions across frames provide a very reliable measure of uncertainty for active sample selection. To implement this uncertainty measure, we introduce new inter-frame divergence and entropy formulations, which serve as the metrics for active selection. Moreover, we demonstrate additional performance gains by predicting and incorporating pseudo-labels, which are also selected using the proposed inter-frame uncertainty measure. Experimental results validate the effectiveness of LiDAL: we achieve 95% of the performance of fully supervised learning with less than 5% of annotations on the SemanticKITTI and nuScenes datasets, outperforming state-of-the-art active learning methods. Code release: https://github.com/hzykent/LiDAL.

近年来，商业上可用和负担得起的四足动物机器人激增，其中许多平台在研究和行业中都被积极使用。随着腿部机器人的可用性的增长，对这些机器人能够执行有用技能的控制器的需求也是如此。但是，大多数用于控制器开发的基于学习的框架都集中在培训机器人特定的控制器上，该过程需要为每个新机器人重复。在这项工作中，我们引入了一个用于训练四足机器人的广义运动（Genloco）控制器的框架。我们的框架合成了可以部署在具有相似形态的各种四足动物的机器人上的通用运动控制器。我们提出了一种简单但有效的形态随机化方法，该方法在程序上生成了一组训练的模拟机器人。我们表明，通过对这套模拟机器人进行训练，我们的模型获得了更多的通用控制策略，这些策略可以直接转移到具有多种形态的新型模拟和真实世界机器人中，在训练过程中未观察到。

工业推荐系统通常提出包含来自多个子系统的结果的混合列表。实际上，每个子系统都使用自己的反馈数据进行了优化，以避免不同子系统之间的干扰。但是，我们认为，由于\ textit {数据稀疏}，此类数据使用可能会导致次优的在线性能。为了减轻此问题，我们建议从包含网络尺度和长期印象数据的\ textit {super-domain}中提取知识，并进一步协助在线推荐任务（下游任务）。为此，我们提出了一个新颖的工业\ textbf {k} nowl \ textbf {e} dge \ textbf {e} xtraction和\ textbf {p} lugging（\ textbf {keep}）框架，这是一个两阶段的框架其中包括1）超级域上有监督的预训练知识提取模块，以及2）将提取的知识纳入下游模型的插件网络。这使得对在线推荐的逐步培训变得友好。此外，我们设计了一种有效的经验方法，用于在大规模工业系统中实施Keep时保持和介绍我们的动手经验。在两个现实世界数据集上进行的实验表明，保持可以实现有希望的结果。值得注意的是，Keep也已部署在阿里巴巴的展示广告系统上，带来了$+5.4 \％$ CTR和$+4.7 \％\％$ rpm的提升。

本文研究了从深度摄像机读数中构建平面区域的多重代表的问题。这个问题对于复杂环境中的地形映射非常重要，并且在腿部运动应用中具有巨大的潜力。为了解决多重平面区域的表征问题，我们提出了一个两阶段的解决方案方案。在第一阶段，嵌入深度图像序列中的平面区域首先单独提取，然后合并以建立一个仅包含所选框架中平面区域的地形图。为了简化适用于腿部机器人立足计划的平面区域的表示，我们在第二阶段通过低维度的多面体进一步近似提取的平面区域。借助多重代表，所提出的方法在准确性和简单性之间取得了巨大的平衡。对RGB-D相机进行了实验验证，以证明所提出的方案的性能。所提出的方案成功地通过多面体以可接受的精度来表征平面区域。更重要的是，在整个测试中，整体感知方案的运行时间小于10ms（即> 100Hz），这强烈说明了本文中我们发展的方法的优势。

在许多Web应用程序中，基于深度学习的CTR预测模型（简短的CTR模型）被广泛采用。传统的深入CTR模型以静态方式学习模式，即，在所有实例中，网络参数都是相同的。但是，这种方式几乎无法表征可能具有不同基础分布的每个实例。它实际上限制了深CTR模型的表示功能，从而导致了次优结果。在本文中，我们提出了一个高效，有效和通用的模块，称为自适应参数生成网络（APG），该模块可以根据不同实例动态地生成深层CTR模型的参数。广泛的实验评估结果表明，APG可以应用于各种深CTR模型，并显着提高其性能。同时，与常规的Deep CTR模型相比，APG可以将时间成本降低38.7 \％，并且内存使用率减少96.6 \％。我们已经在工业赞助的搜索系统中部署了APG，并分别获得了3 \％CTR增益和1 \％RPM增益。

近年来，由于强大的3D CNN，基于体素的方法已成为室内场景3D语义分割的最新方法。然而，基于体素的方法忽略了基础的几何形状，由于缺乏地理位置信息而在空间上闭合物体上的模棱两可的特征遭受了含糊的特征，并努力处理复杂和不规则的几何形状。鉴于此，我们提出了Voxel-Mesh网络（VMNET），这是一种新颖的3D深度体系结构，该架构在Voxel和网格表示上运行，并利用了欧几里得和地球信息。从直觉上讲，从体素中提取的欧几里得信息可以提供代表附近对象之间交互的上下文提示，而从网格中提取的地理信息可以帮助空间上接近但断开表面的分离对象。为了合并两个域中的此类信息，我们设计了一个内域的专注模块，以进行有效的特征聚集和一个用于自适应特征融合的专注于域间的模块。实验结果验证了VMNET的有效性：具体而言，在具有挑战性的扫描仪数据集上，用于大规模的室内场景分割，它的表现优于最先进的Sparseconvnet和Minkowskownet（74.6％vs 72.5％和73.6％）更简单的网络结构（17m vs 30m和38m参数）。代码发布：https：//github.com/hzykent/vmnet

传统的工业推荐人通常在单一的业务领域培训，然后为此域名服务。但是，在大型商业平台中，通常情况下，推荐人需要为多个业务域提供点击率（CTR）预测。不同的域具有重叠的用户组和项目。因此，存在共性。由于特定用户组具有差异，并且用户行为可能在各种商业域中改变，因此还存在区别。区别导致特定于域的数据分布，使单个共享模型很难在所有域上运行良好。要学习一个有效且高效的CTR模型，可以同时处理多个域，我们呈现明星拓扑自适应推荐（Star）。具体而言，STAR具有星形拓扑，由共享中心参数和特定于域的参数组成。共享参数用于学习所有域的共性，以及域特定参数捕获域区分以进行更精细的预测。给定来自不同商业域的请求，Star可以根据域特征调节其参数。生产数据的实验结果验证了所提出的明星模型的优越性。自2020年以来，STAR已部署在阿里巴巴的显示广告系统中，从RPM获得平均8.0％的改进和6.0％（每米尔勒收入）。

特征交互已被识别为机器学习中的一个重要问题，这对于点击率（CTR）预测任务也是非常重要的。近年来，深度神经网络（DNN）可以自动从原始稀疏功能中学习隐式非线性交互，因此已广泛用于工业CTR预测任务。然而，在DNN中学到的隐式特征交互不能完全保留原始和经验特征交互的完整表示容量（例如，笛卡尔产品）而不会损失。例如，简单地尝试学习特征A和特征B <A，B>作为新特征的显式笛卡尔产品表示可以胜过先前隐式功能交互模型，包括基于分解机（FM）的模型及其变体。在本文中，我们提出了一个共同行动网络（CAN），以近似于显式成对特征交互，而不会引入太多的附加参数。更具体地，给出特征A及其相关的特征B，通过学习两组参数来建模它们的特征交互：1）嵌入特征A和2）以表示特征B的多层Perceptron（MLP）。近似通过通过特征B的MLP网络传递特征A的嵌入可以获得特征交互。我们将这种成对特征交互作为特征合作，并且这种共动网单元可以提供拟合复合物的非常强大的容量功能交互。公共和工业数据集的实验结果表明，可以优于最先进的CTR模型和笛卡尔产品方法。此外，可以在阿里巴巴的显示广告系统中部署，获得12 \％的CTR和8 \％关于每个Mille（RPM）的收入，这是对业务的巨大改进。

Path planning in the multi-robot system refers to calculating a set of actions for each robot, which will move each robot to its goal without conflicting with other robots. Lately, the research topic has received significant attention for its extensive applications, such as airport ground, drone swarms, and automatic warehouses. Despite these available research results, most of the existing investigations are concerned with the cases of robots with a fixed movement speed without considering uncertainty. Therefore, in this work, we study the problem of path-planning in the multi-robot automatic warehouse context, which considers the time-varying and uncertain robots' movement speed. Specifically, the path-planning module searches a path with as few conflicts as possible for a single agent by calculating traffic cost based on customarily distributed conflict probability and combining it with the classic A* algorithm. However, this probability-based method cannot eliminate all conflicts, and speed's uncertainty will constantly cause new conflicts. As a supplement, we propose the other two modules. The conflict detection and re-planning module chooses objects requiring re-planning paths from the agents involved in different types of conflicts periodically by our designed rules. Also, at each step, the scheduling module fills up the agent's preserved queue and decides who has a higher priority when the same element is assigned to two agents simultaneously. Finally, we compare the proposed algorithm with other algorithms from academia and industry, and the results show that the proposed method is validated as the best performance.